LLaMA: Open and Efficient Foundation Language Models (2023 论文)

概述

提出 LLaMA 开源大语言模型的论文，展示了高效训练数据和质量的重要性。

关键内容

1. 高效设计：LLaMA 使用比 GPT-3 更少的参数（7B-65B）达到相当性能，证明了数据质量和训练效率的关键作用。
2. 开源策略：LLaMA 的发布激发了开源社区的微调和应用创新，催生了 Alpaca、Vicuna、Llama 2 等衍生模型。
3. 与闭源对比：与 OpenAI 的闭源路线形成对比，推动了大模型技术的民主化。

来源

• ai_papers_timeline.md — 2023 年时间线条目

相关

• Hugo Touvron — authored_by
• LLaMA — introduced
• GPT 系列 — compares_to
• OpenAI — compares_to